Được thành lập từ chi nhánh địa phương của Church of England Young Men's Society ngày 22 tháng 8 năm 1888,[2] câu lạc bộ thường được biết với tên gọi "Churches". Họ vô địch Norfolk Senior Cup mùa giải 1891–92 và 1896–97. Năm 1897 họ là đội bóng sáng lập Norfolk & Suffolk League, vô địch ở mùa giải 1899–1900 khi chỉ thua một trận đấu.[3] Sau đó đội bóng vô địch Senior Cup 3 lần liên tiếp từ năm 1900 đến năm 1902. Khủng hoảng vì thiếu hoài bão,[2] năm 1902 đội trưởng (Robert Webster) và đội phó (Joseph Cowper Nutchey) rời đi để thành lập đội bóng mới, Norwich City, cũng tham gia Norfolk & Suffolk League. City đứng trên CEYMS trong mùa giải đầu tiên,[4] và mặc dù CEYMS vô địch giải đấu lần nữa ở mùa giải 1906–07 và 1910–11, Norwich City tiếp tục chiếm ưu thế ở Norwich.

Câu lạc bộ tham dự FA Cup lần đầu tiên năm 1906. Tuy nhiên, họ thất bại ở Vòng loại 4 trước Leytonstone với tỉ số 6–2. Đội bóng lại vô địch Norfolk & Suffolk League mùa giải 1935–36 và gia nhập Eastern Counties League năm 1937, kết thức ở vị trí thứ 8 mùa giải 1937–38 và thứ 12 mùa giải 1938–39. Mùa giải 1939–40 bị hủy bỏ do sự bùng nổ của Thế chiến thứ II, và do chi phí đi lại cao nên câu lạc bộ bỏ giải trước khi được tiếp tục năm 1946, họ gia nhập lại Norfolk & Suffolk League.[2] Đội bóng được mời gia nhập Eastern Counties League năm 1963, nhưng sau khi chấp nhận thì lại bị từ chối. Khi giải đấu hợp nhất thành Anglian Combination năm 1964 họ được xếp vào Premier Division, nhưng bị xuống hạng Division One cuối mùa giải 1969–70, và cả Division Two mùa giải 1973–74. Đội bóng được thăng hạng trở lại Division One mùa giải 1984–85, nhưng lại bị xuống hạng ngay mùa giải sau đó.

Mùa giải 2005–06 CEYMS kết thúc ở vị trí thứ 2 ở Division Three và được thăng hạng Division Two. Tuy nhiên, họ lại nói lời tạm biệt ở mùa sau. Mùa giải 2007–08 câu lạc bộ vô địch Division Three để trở lại lập tức lên Division Two. CEYMS giành quyền thăng hạng Division One cuối mùa giải 2010–11, Mùa giải 2012–13, câu lạc bộ vô địch Division One với điểm số kỉ lục, thăng hạng Premier Division.